不利的天气条件（例如阴霾，雨水和雪）通常会损害被捕获的图像的质量，从而导致在正常图像上训练的检测网络在这些情况下概括了很差。在本文中，我们提出了一个有趣的问题 - 如果图像恢复和对象检测的结合可以提高不利天气条件下尖端探测器的性能。为了回答它，我们提出了一个有效但统一的检测范式，该范式通过动态增强学习将这两个子任务桥接在一起，以在不利的天气条件下辨别对象，称为Togethernet。与现有的努力不同，这些努力将图像除去/der绘制为预处理步骤，而是考虑了一个多任务联合学习问题。遵循联合学习方案，可以共享由恢复网络产生的清洁功能，以在检测网络中学习更好的对象检测，从而有助于TogEthERNET在不利天气条件下增强检测能力。除了联合学习体系结构外，我们还设计了一个新的动态变压器功能增强模块，以提高togethernet的功能提取和表示功能。对合成和现实世界数据集的广泛实验表明，我们的togethernet在定量和质量上都超过了最先进的检测方法。源代码可从https://github.com/yz-wang/togethernet获得。
translated by 谷歌翻译
图像平滑是一项基本的低级视觉任务，旨在保留图像的显着结构，同时删除微不足道的细节。图像平滑中已经探索了深度学习，以应对语义结构和琐碎细节的复杂纠缠。但是，当前的方法忽略了平滑方面的两个重要事实：1）受限数量的高质量平滑地面真相监督的幼稚像素级回归可能会导致域的转移，并导致对现实世界图像的概括问题； 2）纹理外观与对象语义密切相关，因此图像平滑需要意识到语义差异以应用自适应平滑强度。为了解决这些问题，我们提出了一个新颖的对比语义引导的图像平滑网络（CSGIS-NET），该网络在促进强大的图像平滑之前结合了对比的先验和语义。通过利用不希望的平滑效应作为负面教师，并结合分段任务以鼓励语义独特性来增强监督信号。为了实现所提出的网络，我们还使用纹理增强和平滑标签（即VOC-Smooth）丰富了原始的VOC数据集，它们首先桥接图像平滑和语义分割。广泛的实验表明，所提出的CSGI-NET大量优于最先进的算法。代码和数据集可在https://github.com/wangjie6866/csgis-net上找到。
translated by 谷歌翻译
神经网络实施的标准方法具有强大的功能近似功能，但在其预测中学习元表示和理性概率不确定性的能力受到限制。另一方面，高斯流程采用贝叶斯学习计划来估计这种不确定性，但受其效率和近似能力的限制。神经过程家族（NPF）打算通过利用神经网络来提供元学习预测性不确定性来提供两全其美的世界。近年来，这种潜力为家庭带来了重大的研究活动。因此，需要对NPF模型进行全面调查，以组织和联系其动机，方法论和实验。本文打算解决这一差距，同时更深入地研究有关家庭成员的制定，研究主题和应用程序。我们阐明了它们的潜力，即在一个雨伞下带来其他深度学习领域的最新进展。然后，我们提供了对家庭的严格分类法，并从经验上证明了它们对在1-D，2-D和3-D输入域上运行的数据生成功能进行建模的功能。最后，我们通过讨论有关有希望的方向的观点，这些方向可以推动该领域的研究进展。我们的实验代码将在https://github.com/srvcodes/neural-processes-survey上提供。
translated by 谷歌翻译
我们定期考虑在实践中回答反事实问题，例如“糖尿病患者会选择另一种药物，会更好吗？”。观察性研究在回答此类问题的显着性上增长，因为它们的广泛积累和比随机对照试验（RCT）比较容易获得的。最近，一些作品将表示和域的适应性引入了反事实推断。但是，大多数目前的作品都集中在二进制治疗的设置上。他们都没有认为不同治疗的样本量不平衡，尤其是由于固有的用户偏好，某些治疗组中的数据示例相对有限。在本文中，我们为反事实推断设计了一种新的算法框架，从元学习来估算单个治疗效果（元地铁）以填补上述研究空白，尤其是考虑多种不平衡治疗方法。具体而言，我们将反事实推断的治疗组之间的数据发作视为元学习任务。我们从一组有足够样品的源治疗组中训练一个元学习者，并通过梯度下降进行梯度下降，而在目标治疗中样本有限。此外，我们引入了两个互补的损失。一个是多种来源治疗的监督损失。提出了与各个治疗组之间潜在分布对齐的另一个损失，以减少差异。我们在两个现实世界数据集上执行实验，以评估推理准确性和概括能力。实验结果表明，模型元地铁匹配/跑赢大的方法。
translated by 谷歌翻译
高信心重叠的预测和准确的对应关系对于以部分到派对方式对齐成对点云至关重要。但是，重叠区域和非重叠区域之间存在固有的不确定性，这些区域一直被忽略并显着影响注册绩效。除了当前的智慧之外，我们提出了一种新颖的不确定性意识到的重叠预测网络，称为Utopic，以解决模棱两可的重叠预测问题。据我们所知，这是第一个明确引入重叠不确定性以指向云注册的人。此外，我们诱导特征提取器通过完成解码器隐式感知形状知识，并为变压器提供几何关系嵌入，以获得转换 - 不变性的几何形状感知特征表示。凭借更可靠的重叠得分和更精确的密度对应关系的优点，即使对于有限的重叠区域的输入，乌托邦也可以实现稳定而准确的注册结果。关于合成和实际基准的广泛定量和定性实验证明了我们的方法优于最先进的方法。代码可从https://github.com/zhileichen99/utopic获得。
translated by 谷歌翻译
旨在用自然语言和谐地与人类交流的智能对话体系对于促进人工智能时代的人机互动的发展非常出色。有了逐渐复杂的人类计算机交互要求（例如，多模式输入，时间敏感性），传统的基于文本的对话系统很难满足对更加生动和方便的交互的需求。因此，视觉背景增强对话系统（VAD）有可能通过感知和理解多模式信息（即图像或视频中的视觉上下文，文本对话历史记录）与人类进行交流，已成为主要的研究范式。 VAD受益于视觉和文本上下文之间的一致性和互补性，具有产生引人入胜和背景感知响应的潜力。为了描述VAD的开发，我们首先表征VAD的概念和独特功能，然后介绍其通用系统体系结构以说明系统工作流程。随后，对一些研究挑战和代表性作品进行了详细研究，然后进行了权威基准摘要。我们通过提出一些开放问题和有前途的VAD研究趋势来结束本文，例如，在跨模式对话环境下，人机对话的认知机制以及知识增强的跨模式语义互动。
translated by 谷歌翻译
由于图形神经网络（GNN）在各个域中的出色性能，因此对GNN解释问题越来越感兴趣“ \ emph {输入图的哪一部分是决定模型决定的最关键？}“现有的解释？方法集中在监督的设置，例如节点分类和图形分类上，而无监督的图形表示学习的解释仍未探索。当部署高级决策情况时，图表表示的不透明可能会导致意外风险。在本文中，我们推进了信息瓶颈原理（IB），以解决无监督的图表表示所提出的解释问题，这导致了一个新颖的原理，\ textit {无监督的子图表信息瓶颈}（USIB）。我们还理论上分析了标签空间上图表和解释子图之间的联系，这表明表示的表现力和鲁棒性有益于解释性子图的保真度。合成和现实世界数据集的实验结果证明了我们发达的解释器的优越性以及我们的理论分析的有效性。
translated by 谷歌翻译
对比自我监督的学习最近通过归纳偏见使fMRI分类受益。它的弱标签依赖可阻止在小型医疗数据集上过度适应，并解决高层差异方差。尽管如此，现有的对比方法仅在3D医学图像的像素级特征上生成相似的对，而揭示关键认知信息的功能连接性则不足。此外，现有方法可以预测单个对比度表示的标签，而不识别患者组中的相邻信息，而室内对比度可以作为适合基于人群的分类的相似性措施。我们在此提出了针对基于人群的fMRI分类的对比功能连接图。功能连通图上的表示形式“驱逐”，同时均相对“互相吸引”。然后，将更新类似患者之间的连接的动态人群图进行分类。在多站点数据集ADHD200上进行的实验验证了所提出的方法对各种指标的优越性。我们最初可视化人口关系并利用潜在的亚型。
translated by 谷歌翻译
运动向量（MV）的局部最优性是视频编码中的内在属性，并且对MV的任何修改都将不可避免地破坏这种最优性，使其成为MV域中的隐写术的敏感指标。因此，局部最优态通常用于设计落体特征，并且局部最优性的估计已成为视频隐星分析的首要任务。然而，现有工程中的局部最优性通常是不准确的或使用不合理的假设估计，限制其在塞巴巴分析中的能力。在本文中，我们建议以更合理和更全面的方式估计当地最优性，并在两个方面概括了局部最优性的概念。首先，通过MV和预测的运动矢量（PMV）共同确定以速率失真感测量测量的局部最优，并且PMV的可变性将影响局部最优性的估计。因此，我们将本地最优性概括为动态估计。其次，PMV是MV的特殊情况，并且还可以反映MVS中的嵌入痕迹。因此，我们将本地最优性从MV域概括到PMV域。根据本地最优性的两个概括，我们构建了新型的落物特征，并提出了特征对称规则来减少特征维度。在三个数据库中进行的广泛实验展示了所提出的特征的有效性，这在各种条件下实现了最先进的精度和鲁棒性，包括覆盖源失配，视频预测方法，视频编解码器和视频分辨率。
translated by 谷歌翻译
对抗性攻击，例如输入和对抗性样本的对抗扰动，对机器学习和深度学习技术构成重大挑战，包括互动推荐系统。这些技术的潜在嵌入空间使对抗性攻击难以在早期阶段检测。最近的因果关系表明，反事实也可以被认为是生成从不同分布所吸引的对抗样本作为训练样本的方法之一。我们建议探索基于强化学习的互动推荐系统的对抗性实例和攻击不可知论。我们首先通过将扰动添加到休闲因素的输入和干预来制造不同类型的对抗例。然后，我们通过基于制备数据检测基于深度学习的分类器的潜在攻击来增强推荐系统。最后，我们研究了对抗性示例的攻击强度和频率，并在具有多种制备方法的标准数据集中评估模型。我们广泛的实验表明，大多数逆势攻击都是有效的，攻击力量和攻击频率都会影响攻击性能。战略性定时攻击仅实现了比较攻击性能，只有1/3到1/2攻击频率。此外，我们的黑匣子探测器用一种制作方法培训，具有概述几种其他制备方法的泛化能力。
translated by 谷歌翻译